We discover a robust self-supervised strategy tailored towards molecular representations for generative masked language models through a series of tailored, in-depth ablations. Using this pre-training strategy, we train BARTSmiles, a BART-like model with an order of magnitude more compute than previous self-supervised molecular representations. In-depth evaluations show that BARTSmiles consistently outperforms other self-supervised representations across classification, regression, and generation tasks setting a new state-of-the-art on 11 tasks. We then quantitatively show that when applied to the molecular domain, the BART objective learns representations that implicitly encode our downstream tasks of interest. For example, by selecting seven neurons from a frozen BARTSmiles, we can obtain a model having performance within two percentage points of the full fine-tuned model on task Clintox. Lastly, we show that standard attribution interpretability methods, when applied to BARTSmiles, highlight certain substructures that chemists use to explain specific properties of molecules. The code and the pretrained model are publicly available.
translated by 谷歌翻译
大脑计算机界面(BCI)具有解决许多大脑信号分析局限性,精神障碍分辨率以及通过神经控制的植入物恢复缺失的肢体功能的巨大潜力。但是,尚无单一可用,并且存在安全的日常生活使用情况。大多数拟议的植入物都有多个实施问题,例如感染危害和散热,这限制了它们的可用性,并使通过法规和质量控制生产更具挑战性。无线植入物不需要颅骨慢性伤口。但是,当前植入物芯片内部的复杂聚类神经元识别算法消耗了大量功率和带宽,从而导致更高的散热问题并排出植入物的电池。尖峰分类是侵入性BCI芯片的核心单位,在功耗,准确性和区域中起着重要作用。因此,在这项研究中,我们提出了一个低功率自适应的简化VLSI体系结构,“ Zydeco风格”,用于BCI Spike Sorting,在最坏情况下,计算上的计算较差,其精度较高,高达93.5%。该体系结构使用带有外部物联网医疗ICU设备的低功率蓝牙无线通信模块。在Verilog中实现并模拟了所提出的架构。此外,我们正在提出植入概念设计。
translated by 谷歌翻译
了解人类的行为和监测心理健康对于维持社区和社会的安全至关重要。由于不受控制的心理健康,由于心理健康期间,由于心理健康的大流行期间的心理健康问题有所增加,因此对心理问题的早期发现至关重要。如今,智能虚拟个人助理(IVA)的使用已在全球范围内增加。个人使用声音来控制这些设备以满足请求并获得不同的服务。本文提出了一种基于封闭式复发性神经网络和卷积神经网络的新型深度学习模型,以了解人类的情感从语音中,以改善其IVA服务并监控其心理健康。
translated by 谷歌翻译
行动检测和公共交通安全是安全社区和更好社会的关键方面。使用不同的监视摄像机监视智能城市中的交通流量可以在识别事故和提醒急救人员中发挥重要作用。计算机视觉任务中的动作识别(AR)的利用为视频监视,医学成像和数字信号处理中的高精度应用做出了贡献。本文提出了一项密集的审查,重点是智能城市的事故检测和自动运输系统中的行动识别。在本文中,我们专注于使用各种交通视频捕获来源的AR系统,例如交通交叉点上的静态监视摄像头,高速公路监控摄像头,无人机摄像头和仪表板。通过这篇综述,我们确定了AR中用于自动运输和事故检测的主要技术,分类法和算法。我们还检查了AR任务中使用的数据集,并识别数据集的数据集和功能的主要来源。本文提供了潜在的研究方向,以开发和整合为自动驾驶汽车和公共交通安全系统的事故检测系统,通过警告紧急人员和执法部门,如果道路事故发生道路事故,以最大程度地减少事故报告中的人为错误,并对受害者提供自发的反应。
translated by 谷歌翻译
为化疗中的许多重要任务收集标记数据是耗时的,需要昂贵的实验。近年来,机器学习已被用来使用大规模未标记的分子数据集学习分子的丰富表示,并转移知识,以解决有限数据集的更具挑战性的任务。变形AutoEncoders是已经提出用于进行化学性质预测和分子产生任务的转移的工具之一。在这项工作中,我们提出了一种简单的方法,可以通过在变形自身偏析者学习的表示中包含关于相关分子描述符的附加信息来改善机器学习模型的化学性质预测性能。我们验证了三个属性预测的方法询问。我们探讨了合并的描述符的数量,描述符和目标属性之间的相关性,数据集等的尺寸的影响。最后,我们显示了性能预测模型的性能与属性预测数据集之间的距离和更大的未标记之间的关系。 DataSet在表示空间中。
translated by 谷歌翻译
发现新的超链接使Web爬网程序能够找到尚未索引的新页面。这对于集中的爬行者来说尤为重要,因为他们努力提供对网络的特定部分的全面分析,从而优先考虑发现内容的变化的新页面。在文献中,通常同​​时考虑超链接和内容的变化。但是,还有证据表明这两种改变不一定是相关的。此外,关于预测变化的许多研究假设页面的长期可用,这在实践中是无法实现的。这项工作的目的是提供一种方法来使用短历史有效地检测新的链接。为此,我们使用一周的间隔使用十个爬网的数据集。我们的研究包括三个部分。首先,我们通过分析新的倒出数量的经验属性来获得数据的洞察力。我们观察到这些属性平均随着时间的推移稳定,但在目标页面内外页面的超链接出现的超链接之间存在很大的差异(分别分别是内部和外部倒降)。接下来,我们为三个目标提供统计模型:链路变化率,新链接的存在以及新链接的数量。这些模型包括文献中早些时候使用的功能,以及在这项工作中引入的新功能。我们分析了特征之间的相关性,并调查了他们的信息。一个值得注意的发现是,如果目标页面的历史不可用,那么我们的新功能,代表相关页面的历史,对于目标页面中的新链接最预测。最后,我们将排名方法作为聚焦爬虫的准则,以有效地发现新页面,这对相应的目标实现了出色的性能。
translated by 谷歌翻译
图像恢复仍然是图像处理中有挑战性的任务。许多方法解决这个问题,通常通过最小化非平滑惩罚的共轨似然函数来解决。虽然解决方案很容易以理论保证来解释,但其估计依赖于可能需要时间的优化过程。考虑到图像分类和分割深度学习的研究努力,这类方法提供了一个严重的替代方案来执行图像恢复,但要挑战解决逆问题。在这项工作中,我们设计了一个名为Deeppdnet的深网络,从原始双近迭代构建,与之前的分析有关的标准惩罚可能性,允许我们利用两个世界。我们用固定图层为深度网络进行重构Condat-Vu原始 - 双混梯度(PDHG)算法的特定实例。学习的参数均为PDHG算法阶梯大小和惩罚中涉及的分析线性运算符(包括正则化参数)。允许这些参数从层变为另一个参数。提出了两种不同的学习策略:提出了“全学习”和“部分学习”,第一个是数值最有效的,而第二个是依赖于标准约束确保标准PDHG迭代中的收敛。此外,研究了全局和局部稀疏分析,以寻求更好的特征表示。我们将所提出的方法应用于MNIST和BSD68数据集上的图像恢复以及BSD100和SET14数据集的单个图像超分辨率。广泛的结果表明,建议的DeepPDNET在MNIST和更复杂的BSD68,BSD100和SET14数据集中展示了卓越的性能,用于图像恢复和单图像超分辨率任务。
translated by 谷歌翻译